سلام به دوستان شناسایی تغییرات در داده های پایه جداول FACTنمونه مورد بررسی: پیاده سازی سرویس CDC (Change Data Capture)در این مثال به دنبال آن هستم که یکی از سرویس های بسیار جالب در SQL را به شما معرفی کنم. کارکرد این سرویس در لایه ETL از سیستم های BI است. با توجه به حجم بالای جداول Fact در انباره های داده، همواره بروزرسانی این جداول یکی از چالش های جدی در سیستم های BI است. مشکل اصلی در انجام این عملیات آنست که استفاده از دو روش بسیار ساده زیر در این جداول امکان پذیر نیست:1- حذف تمام داده های جدول مقصد و بازنشانی مجدد داده ها2- مقایسه جداول مبدا و مقصد و شناسایی تغییرات هردوی این روش ها، باعث اتلاف قابل توجه منابع خواهند شد و در زمان کوتاه قابل انجام نخواهند بود. لذا باید به دنبال روش های دیگری بود. روش های خلاقانه زیادی برای رفع این مشکل وجود دارد ولی اغلب آنها یا نیاز به اعمال تغییرات و ساخت اشیا جدید در پایگاه داده های پایه دارند که گاهی دسترسی این عملیات برای توسعه دهندگان فراهم نیست و یا باعث تولید سربار بر روی عملیات جاری می شوند که باز مطلوب نیست. در این بین، یکی از روش های قابل استفاده، سرویس CDC مایکروسافت است؛ این سرویس که از نسخه 2008 به بعد قابل استفاده است مبتنی بر استفاده از سرویس های پایه DB Engine و SQL Agent طراحی گردیده است. این سرویس با خواندن

سلام به دوستان کار با Graph Database در SQL Server 2017 نمونه مورد بررسی: تحلیل شبکه های اجتماعی (SNA ) پلتفرم SQL Server در نسخه های 2016 و 2017 بطور قابل توجهی بزرگ تر از قبل شده است و بخش قابل توجهی از دیدگاه های مختلف برای مدیریت داده را در خود جای داده است. یکی از این نوآوری ها که در نسخه 2017 اضافه شده است، پشتیبانی از پایگاه داده های گرافی (Graph Databases) است. این پایگاه داده ها بر اساس نظریه گراف ها اقدام به مدل سازی داده ها می نمایند و با استفاده از قواعدی که مبتنی بر این نظریه می باشد، سادگی و کارایی بازیابی اطلاعات را، در برخی سناریوهای خاص بطور قابل توجهی افزایش می دهند. البته نسخه ای که در حال حاضر می توانیم از آن استفاده کنیم، اولین نسخه از این نوع پایگاه داده در SQL SERVER است؛ بنابراین می توان گفت تمام امکانات ساخته شده تا به الان، به روش های کلاسیک نیز قابل پیاده سازی است و مزیت اصلی حاصله، سادگی کار نسبت به روش های کلاسیک است. بعنوان یک مثال اشاره ای به تحلیل هایی می کنیم که به آنهاSNA (Social Network Analysis) یا تحلیل شبکه های اجتماعی گفته می شود. فرض کنیم شبکه ای از افراد را داریم که ارتباط بین آنها مشخص است؛ در این حالت فرض کنید تعدادی از این افراد بعنوان افراد مشکوک به تخلف شناسایی شده اند، حال می خواهیم افرادی که به نحوی با این افراد مشکوک در ا

سلام به دوستان بازاریابی هدفمند (Direct Marketing) با استفاده از Data Mining نمونه مورد بررسی: شناسایی مشتریان هدف بر اساس خصوصیات آنها فرض کنید در مرحله معرفی یک محصول جدید به بازار، به جای معرفی محصول به تمام مشتریان بالقوه (روش Mass Marketing) بخواهیم بازاریابی را صرفا روی مشتریانی انجام دهیم که به احتمال مثلا بالای 70% پیش بینی شود که خریدار آن محصول باشند (روش Direct Marketing). استفاده از این روشها می تواند هزینه های بازاریابی را تا حد قابل توجهی کاهش دهد و نرخ پذیرش بالاتری را در فرآیند بازاریابی برای ما ایجاد نماید و نهایتا سودآوری را افزایش دهد؛ برای رسیدن به این هدف وجود یک سیستم که بتواند در شناسایی مشتریان ارزشمند به کاربر سیستم کمک کند بسیار مفید خواهد بود. اینگونه سیستم ها که DSS یا Decision Support Systems نامیده می شوند، بر اساس قواعد و تحلیل های داده کاوی کار می کنند و با اتکا به این قاعده که آنچه در گذشته رخ داده است احتمالا در آینده نیز رخ خواهد داد؛ سعی در استخراج این قواعد از مجموعه داده های موجود دارند. نمونه ای که برای این منظور طراحی کرده ام، یک مثال بسیار کاربردی و جالب از کارکرد یک سیستم DSS است که پیاده سازی تمام مراحل آن را می توانید در زیر ببینید. در این پیاده سازی از ابزارهای زیر استفاده شده است: · SQL Server DB Engine · SQL Server Analysi

سلام به دوستان استفاده از سرویس جدید SSIS SCALE OUT در SQL SERVER 2017 نمونه مورد بررسی: اجرای همزمان و موازی یکSSIS PACKAGE روی چندین سرور بارها سر کلاس هایم عنوان کرده ام که زمانبرترین و پیچیده ترین لایه در پیاده سازی یک پروژه BI معمولا قسمت ETLاست، جاییکه داده های ناهمگون باید از منابع داده مختلف خوانده شده و در یک انباره داده مرکزی بارگذاری شوند. ولی علاوه بر پیچیدگی های بسیاری که به واسطه کسب و کار و یا به واسطه شرایط داده و بسترهای پایه آنها ایجاد می شود، گاهی اوقات به دلیل حجم بالای داده ها یا پیچیدگی های اعمال شده در کسب و کار، دچار کندی شدید در اجرای Package ها می شویم. هرچند این مشکلات اغلب با مهندسی مجدد فرآیندها و بهینه سازی آنها می تواند بهبود داده شود ولیکن خود این کار زمانبر است و نیازمند دانش، حوصله و زمان کافی است و با توجه به اینکه رسیدن به یک بهبود قابل توجه در زمان محدود، قطعی نیست، گاهی مدیران به اختصاص منابع برای بهبود کاملا مطمئن نیستند بنابراین سعی می کنند منابع موجود را به کارهایی اختصاص دهند که بازده آنها قطعی تر است. در این شرایط گاهی بهبودهایی روی پلتفرم های پایه ایجاد می شود که اولا مستقل از طراحی هستند و ساختارهای طراحی شده را متاثر نمی کنند و در عین حال می توان به راحتی از مزایای آنها بهره مند شد؛ مدیران عاشق این اتفاقات هستند. یکی از این